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(57) Abstract: The invention relates to a method and device for measuring similarity 
between images. The inventive method is characterised in that, for each image, it com- 
prises the following steps: the image is segmented (1, 2, 3, 4), said segments are clas- 
sified according to the orientation thereof in order to produce classes (5), a histogram 
is calculated of the number of segments according to the class (6), a histogram is cal- 
culated of the number of pixels belonging to the segments of one class according to the 
class (6), and the histograms of each image are compared in order to produce a siniilarity 
measurement (7). The invention can be used to group images, construct video recaps or 
index videos. 

(57) Abr^e : Le proced^ est caract6rise en ce qu'il efifectue, pour chaque image, les 
6tapes suivantes : segmentation de 1 'image (1, 2, 3, 4), classification des segments en' 
foncdon de leur orientation pour donner des classes (5), calcul d*un histogramme du 
nombre de segments en fonction de la classe (6), calcul d'un histogramme du nombre 
de pixels appartenant aux segments d*une meme classe en fonction de la classe (6), com- 
paraison des histogrammes de chaque image pour donner une mesure de similarity (7). 
Les applications concement le regroupement d'images, la construction de r6sum6s vi- 
d^o ou r indexation vid6o. 
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PROCEDE ET DiSPOSITIF DE MESURE DE SIMILARITE ENTRE IMAGES 

L'invention conceme un proced^ et dispositif de mesure de similarit6 
entre images. 

5 Le domaine d'application est celui du calcul de la similarite entre 

images. Cette similarite peut etre utilisee dans le cadre de la recherche 
d'images par similarite. Elle peut egalement etre utilisee pour estimer des 
groupes d'images proches selon le critere de similarite utilise. II s'agit par 
exemple de la construction de resumes video. Celle-ci consiste en une 

10 recherche d'imagfes similaires**dans une base cpnstituee d'images d'une 
sequence video. Le but est de reduire le' nombre de ces images en ne 
conservant qu'un repr§sentant pour un groupe d'images decretees 
ressemblantes 11 s'agit egalement de Findexation cohsistant a selectionner 
des images index a partir de leur similarity d d'autres images ou tout 

15 simplement de la recherche d'images specifiques dans la sequence vid^o, a 
partir d'images requete. 

De nombreuses etudes s'intdressent a la mesure de similarity entre 
images a partir d'attributs affectys aux images. Un certain nombre d'entre 
20 eux sont maintenant definis dans la nonne MPEG-7. L'invention s'int6resse 
en particulier aux attributs dits structurels. Par exemple, dans la derniere 
version de la nonne, un attribut de type contour est d6fini. II est extrait 
localement de blocs d'images a partir de filtres de Gabor. 

25 Les attributs connus de I'art anterieur ou proposes dans la norme 

MPEG-7 et les algorithmes de traitement de ces attributs pour la mesure de 
similarite, ne permettent cependant pas, pour certains types de sequences, 
de detector des images similaires de fagon satisfaisante, dans la mesure oD 
ils ne prennent pas en compte, soil I'image dans sa globallt6, soit les details 

30 dans I'image. Dans une optique de regroupement d'images extraites d'une 
video, la mesure de similarite doit pouvoir traduire le fait que plusleurs 
images correspondent a une m§me scene, caracterisee par une unite de 
lieu. Une information caracterisant uniquement les details de I'image ne suffit 
pas d remplir cette tache. D'un autre cotS une information caracterisant 

35 I'image uniquement dans sa globalite peut s'averer inadaptee dans le cas de 
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modification partielle du ddcor de la scdne, par exemple par modification du 
fond de la sc&ne. 



5 L'invention a pour but de pallier fes inconvenients pr6cit^. Elle a 

pour dbjet un proc6d6 de mesure de similarite entre images, caract6ris6 en 
ce qu'il effectue, pour cheque image, les stapes sulvantes : 

- segmentation de i'image 

. - classification des segment en fonction de leur orientation pour 
10 donner des classes, 

- calcul d'un histogramme du nombre de segments en fonction de 
laclasse, < 

- calcul d'un histogramme du nombre de pixels appartenant aux 
segments d'une m§me dasse en fbncTion de la dasse, 

15 - comparaison des histogrammes de cheque image pour donner 

une mesure de similarity. 

Seion une mise en oeuvre particuiidre, le proc^de est caract§ris6 
en ce qu'il calcule ^galement un histogramme correspondent d la distribution 
des segments autour du centre de gravitd de cheque dasse. 
20 Selon une realisation parta'culi^re, pour calculer cet histogramme, il 

effecbje un calcul de T^cart-type des distances des milieux des segments 
d'une dasse au centre de gravite de la classe consider^e. 

Selon une mise en CBuvre particuli^re, la comparaison des 
histogrammes consiste en une soustraction des ordonnees, dasse par 
25 classe et en une somme, sur I'ensemble des dasses, des valeurs obtenues 
pour cheque classe. 

Selon une mise en oeuvre particulidre, les histogrammes sent 
cod^ selon la norme MPEG-7, 

L'invention conceme 6galement un proc^de de regroupement 
30 (dustering) d'images d'une base de donnees, caracterisS en ce que le 
regroupement est effectud en fonction des mesures de similarity selon le 
procddd ddcrit prdcddemment pour donner des groupes (dusters) d'images. 

L'invention conceme 6galement un procyd^ de creation de 
resumes vid^o, caract^risy en ce qu'il syiectionne au moins une des images 
35 d'au moins un groupe calcule selon le proc^de precedent. 
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Uinvention conceme 6galement un proced6 d'indexation video, 
caract6ris6 en ce qu'il sdlecSonne au moins une des Images d'au moins un 
groupe calculi selon le proc6d6 pr6c6dent, comme image d'indexation. 

Uinvenflon conceme egalement un dispositif de mesure de 
5 similarft§ entre images, caract^rise en ce .qu'il comporte un circuit de 
traitement et de calcui d'liistogrammes recevant des donn6es num6ricjues 
. ^d^finissant ces images pour effectuer, pour ciiacune d'elle, ies operations 
suivdntes: ' * 

- segmentation de I'image 

10 " classification des segments en fbncdon de leur orientation pour 

donner des classes, 

- calcui d'uh histogramme du nombre de segments en fonction de 

la classe, 

- calcui d'un histogramme du nombre de pixels appartenant aux 
15 segments d'une mdme dasse en fonction de la classe, 

- comparaison des iiistogrammes de cheque image pour donner 
une mesure de similarity. 

L'invention a pour principal avantage de mettre en ceuvre des 
20 algorithmes perfbrmants pour caracteriser une image et mesurer la similarity 
entre images £i partir de ces algorithmes, gr§ce A rutilisation conjointe 
d'attributs basds orientation de contours permettant de caracteriser le 
nombre de segments, leur taille ainsi que leur distribution en fonction de 
I'orientation. 

25 La description globale de I'image est obtenue §l partir des 

htstogrammes des orientations des segments dans Timage, done sans tenir 
compte de la position de ces segments dans I'image, et la description locale 
est obtenue d partir d'une mesure de centres de gravite de classes de 
segments, qui correspond aux positions relatives des difFerents segments 

30 d'une meme classe. 

Uutilisation de tels attributs structurels permet de caracteriser i'image 
d la fois de fa^on locale et de fagon globale, ameiiorant ainsi I'efficacite dans 
la recherche de similarity des images. En efFet, Ies dimensions des objets 
similaires peuvent etre trds differentes d'une image a une autre, d'un plan de 

35 la sequence d un autre. 
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D'autres particularit^s et avantages de Tinvention apparaTtront 
dairement dans la description suivante donn6e d titre d'exemple non limitatif, 
et faite en regard des figures annex6es qui reprSsentent : 

- la figure 1 , un organigramme du proc6d§ selon invention, 
5 - la figure 2, un precede d'approximation polygonale, 

- la figure 3, un exemple de recherche de ^imilarit^. 

Le proc6d6 realise un^ segmentation de rimage. ' L'approche 
«e objqt » ri'existe cependant pas ici. 11 s'agit de ddterminer des segments 
10 dans Tirnage qui sbnt des approximations des contours r6els dans I'image, 
par exemple d partir de mesures de gradients, sans se soucier du fait qu'ils 
appartiennent ou non d un objet particulier dans Timage. 

La figure 1 repr^ente un organigramme ddfinissant les prindpales 
15 stapes du procMe de calcul d'histogrammes d'attributs caractdrisant une 
image. 

Une premiere phase qui est un prelraitement de Timage consiste en 
une detection de contours dans Timage pour obtenir une carte de contours et 
en une segmentation de ces contours pour obtenir une carte de segments. 
20 La deu)d6me phase realise un calcul des attributs pour la detection de 
similarity. 

Une image ^ traitor est transmise a une premiere 6tape r6f6renc6e 1 
sur Torganigramme de la figure 1 . Cette 6tape du precede realise un calcul 

25 de gradients dans I'image. Un filtre de detection de gradients est appliquS d 
rimage pour donner en cheque point une mesure de gradient. Une carte de 
gradients verticaux et une carte de gradients horizontaux sent ainsi 
calcul^es. La norme des gradients obtenue ^ partir de ces cartes, racine 
carr^e de la somme des carr§s des valeurs de gradient horizontal et vertical 

30 attributes d un pixel, est aussi exploitte. 

L'6tape 2 realise une selection des pixels § partir des valeurs de 
gradient calculees k I'^tape pr§cddente, compardes d des seuils. Cette 
selection est affinte par celle des points de plus fort contraste dans une 
fenetre de voisinage donnde. Le but est de supprimer des contours tpais en 

35 stiectionnant, dans le voisinage d'un pixel, les pixels ayant les plus forts 
gradients, en considtrant les valeurs des gradients horizontaux et verticaux. 
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II s'agit ^galement de favoriser les pixels voisins d'un pixel d^ja selectionn§ 
comma un contour. Les points contours isol6s sont 6!imin§s. Nous obtenons, 
d ce stade, une carte binaire de contours, chaque pixel de ('image est 
6tiquet6 comme contour ou non. 

5 Un test de connectivite est effectuS sur la carte binaire de contours 

afin de rassembler les pixels voisins, pour ainsi constituer des lignes de 
contours. Pour ce falre, un processus d'^tiquetage en composantes 
connexes est mis en ceuvre d I'^tape suivante 3. 

Deux pixels sont d6clar§s connexes s*il existe un chemin 

10 inintenrompu de pixels contours reliant ces deux pixels. On « chaTne » ainsi 
des pixels contours de maniere ^ obtenir une ligne de continuity. Les pixels 
connexes sont etiquet^s, chaque pixel touchant un autre pixel ^tant marqud 
de la m§me dtiquette. On obtient, pour chaque etiquette, une liste de 
composantes connexes, cette liste etant les coordonnees des differents 

15 pixels d'une ligne de continuity relative A une etiquette. 

Pour chaTner chaque contour d'une extremity I'autre, il est 
nScessaire d'eliminer les points multiples, c'est a dire les jonctions de lignes 
de contours. Un algorithme teste la presence de jonctions et les ^limine. 
Cette ytape est rSalisde en effiectuant un sui>^ de contours sur chaque 

20 composante connexe identifiye. Le parcours des pixels appartenant d une 
comppsante connexe donnee se fait de proche en proche. Une combinaison 
de filtres permet de savoir si le pixel courant correspond d une jonction entre 
le contour principal et un contour secondaire. Un pixel ayant 6t6 categorise 
comme jonction est 6iimin6 de la carte des pixels contour, ddtachant ainsi le 

25 contour secondaire du contour principal. Le contour secondaire est replac6 
dans la liste des composantes connexes § parcourir. Le suivi de contours se 
poursuit alors le long du contour principal. 

A ce stade, nous disposons d'une carte de lignes de continuity non 
rectilignes. 

30 L'ytape suivante 4 du processus de prytraitement est une 

approximation polygonale de ces contours chaTnys afin d'approcher chaque 
ligne de contour par un ensemble de segments connectys. 

La figure 2 reprysente un procydy d'approximation polygonale d'un 
contour chaTny. Pour un contour donny ryfyrence 1 1 , on recherche le point 

35 e3 donnant la distance maximale entre les points du contour et le segment 
formy par les extrymitys de ce contour el et e2. Si cette distance est 
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6 

supSrieure ^ un seuil, te contour est approch6 par deux segments [e1 ,e3] et 
[e3,e2]. Le processus est r6it6r6 jusqu'd ce que les distances du point au 
segment soient inf§rieures au seuil fixd. 

A Tissue de cette 6tape, on dispose, pour une image, d'une carte de 
5 segments constituee d'un ensemble de segments dont 11 est alors possible 
de calculer rorientatipn. Un exemple de carte de segments est repr^sent^ en 
haut a droite de la figure 3. 

l-a deuxidme phase consiste en un caicul et une exploitation des 
10 attributs relatils d cette carte de segment. 

L'etape 5 calcule, pour cheque segment de la carte de segments, 
i'angle entre sa direction et I'horizontale. L'angle obtenu, compris entre 0 et 
180 degrgs, est alors quantifid pour obtenir un nombre rdduit de catdgones 
ou classes d'angles. Par exemple, les angles obtenus sent r§pertorlds dans 
15 36 classes, le pas de quanttflcation dtant de 5 degrds ou, en d'autres temies, 
une classe con-espond d une largeur de 5 degres. 

Des histogrammes relatifs k trois attributs sont maintenant calculus 
iors de l'etape 6, exploitant Tinformation d'orientation de segment obtenue 
prScddemment. 

20 - un histogramme du nombre de segments en fonction de 

Torientation. 

Les difF^rentes classes sont representees en abscissa et les 
occurrences en ordonn6es. 

- un histogramme du nombre total de pixels appartenant d des 
25 segments de mdme orientation en fonction de I'orientation de ceux-d. 

Les ordonn^es correspondent k la somme des longueurs des 
segments de la classe, pour une classe donn^e. 

- un histogramme correspondant A la distribution des segments 
autour du centre de gravity de chaque classe, par caicul de I'^cart-type des 

30 distances des milieux des segments au centre de gravite. 

Le centre de gravity Gj de la classe Q est obtenu par caicul du 
barycentre des milieux M(sj) des segments sj. Le poids associS d chaque 
milieu est 6ga\ au nombre de pixel n(s^ composant le segment : 



wo 2004/029833 



PCT/FR2003/050053 



10 



X;n(sj)*M(sj) 

En(sj) 

sjeCi 

Les ordonndes H(i) correspondent k i'^cart-type des distances 
eudidiennes diG^Misj^) entre le barycentre ou centre de gravity de la 

classe Ci consid^rde et le centre de chaque segment de la classe : 



Ha) = 



|card(Ci)* £d(Gi,M(Sj))^ -( ]Cd(GiM(Sj)))^ 
sj€Ci SjeCi^ • 



card(Ci)*card(Ci) 



oO card est la fbnction cardinaie retoumant le nombre de segments de la 
classe considdrde. 

La distribution est mise sous fomne d'histogramme, c'est k dire de 
vecteurs de valeurs, permettant ainsi son exploitation dans le cadre de la 
norma MPEG7 qui definit le codage de tels histogrammes. 

15 Afin de plus facilement combiner les informations* les histogrammes 

sent normalises, par exemple k partir des valours maximales trouv^es. 

Les trois histogrammes des attributs caract^risant Timage sent 
exploit^s pour les mesures de similarity, 6tape 7. 

20 Trois histogrammes sent calcules pour une premiere image qui est 

par exemple une image requdte et trois autres histogrammes pour une 
deuxi^me image qui est une image dans une base de donn^es. La mesure 
de similarity entre les deux images h et c'est a dire le calcul de la distance 
entre ces Images peut alors s'effectuer par simple soustraction des 

25 ordonn^es, classe par classe, pour chaque type d'histogramme de taille 

i:|Hf(i)-H^(i)| 
dk(Hf,H^)=-i — 
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Un Indicateur de similarity est par example la somme des 

valeurs obtenues par ces soustractions, pour Tensemble des histogrammes : 

£di,(Hf,H|) 

5 - - ' 

La mesure de similarity peut etre amyiioree en cqmparant la dasse 
egalement ^ des classes voisines de rhistogramme de I'autre image, avec un 
facteur de ponderation. La comparaison d'histogrammes utilise par exemple 
une mStrique de type cross quadratique pemiettant de s'affranchir des 
10 laibles variations d'orientation globale entre deux images successives, par 
exemple lors d'une rotation faible de la camera. 

Un exemple de recherche d'images similaires est donn^ ^ la figure 3, 
montrant, eh haut ^ gauche, I'image consider^e, sa carte de contours et de 
15 segments associye, ainsi que les images reconnues comme les plus 
ressemblantes dans une base de 150 images issues de deux sequences 
diffiSrentes. 

La principale caracteristique de ces histogrammes est done de 
20 foumir une description d la fbis globale et locale des images. II est ainsi 
possible, grace d la description globale, de diffSrencier des images 
giobalement staictur6es, par exemple des images de villes caractyris6es pas 
des orientations de segments horizontaux et verticaux, d'images de 
campagnes caractyris^es par des orientations de segments plus al^atoires. 
25 Mais il est Egalement possible, grace d la description locale, de diff^rencier 
des Images localement structur6es, une partie de I'image est par exemple 
consacree d un batiment, une autre k un bois, d'images moins structurSes, 
par exemple une maison au milieu de la fbr§t. 

30 Le calcul des segments, dans la description prec^dente, est effectu6 

sur les valeurs de luminance de Timage. II est bien sQr tout aussi 
envisageable d'effectuer un tel calcul pour chacune des composantes 
oouleur de I'image. Si les calculs demandant plus de capacity de traitement, 



wo 2004/029833 




PCT/FR2003/050053 



9 

en revanche la realisation d'hlstDgrammes par couleur pemnet d'amdiiorer 
refficacttS du proc6d6. 

Trois histogrammes sent id exploitis pour caractdriser Timage. II est 
bien sQr possible de n'exploiter que Tun d'entre eux ou une combinaison de 
5 deux d'entre eux pour calculer la similaritjg d'images, sans sorb'r du domaine 
de rinvention. 
* 

Les orientations des segments exploitdes peuvent Stre les anglQs 
fonm^ avec d'autres droites de reference que Thorizontale. Les dimensions 
10 des classes peuvent §tre inferieures ou superieures a 5 degres, selon la 
puissance ou temps de calcul disponible ou la qualite de mesure sbuhait^e. 
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REVENDICATIONS 



* 1 Procedd de jpnesure de similarity er^ images, caractense en ce ' 
qu'il effectue, pour chaque image, les stapes suivantes : 

- segmentation de rimage (1, 2, 3, 4X 

- classification des segments en fonction de leur orientation pour 
10 donner des classes (5), • a 

- calcul d'un histogramme du nomore de segm*ents en fonction de * 
laclass^(6), 

- calcul d'un histogramme du nombre de pixels appartenant aux 
segments d'une m§me dasse en fonction de la classe (6), 

15 - comparaison des histogrammes de chaque Image pour donner 

une mesure de similarity (7). 

2 ProcSde selon la revendication 1, caracterisd en ce qu'il calcule 
6galement un histogramme (6) correspondent k la distribution des segments 

20 autour du centre de gravity de chaque classe. 

3 Procydy selon la revendication 2, caractyrise en ce que, pour 
calculer Thistogramme, il effectue un calcul de rycart-type des distances des 
milieux des segments d'une classe au centre de gravity de la classe 

25 considyrye. 

4 Procydy selon la revendication 1, caractyrisy en ce que la 
comparaison des histogrammes consiste en une soustraction des 
ordonnyes, classe par classe et en une somme, sur Tensemble des classes, 

30 des valours obtenues pour chaque classe. 

5 Procydy selon la revendication 1, caractyrisy en ce que les 
histogrammes sent codys selon la norma MPEG-7. 



35 6 Procydy de regroupement (clustering) d'images d'une base de 

donnyes, caractyrisy en ce que le regroupement est effectuy en fonction des 



wo 2004/029833 




PCT/FR2003/050053 



11 



mesures de similarity selon le proc6d6 de la revendication 1 pour donner des 
groupes (clusters) d'images. 

7 Procddd de creation de rSsumgs vid6o, caract6ris6 en ce qu'il 
5 selectionne au moins une des images d'au moins un groupe calcul§ selon ie 
procedd de la revendication 6. *^ 

e Proc6d6 d'indexation viddo, caractdrisd en ce qu'il s6Iectionne 
au moins une des images d'au moins un groupe calculi selon le prbc^d^ de 
10 la revendication 6, comma image d'indexation. 

9 Dispositif de mesure de similarity entre images, caractyris6 en 
ce qu'il comporte un circuit de traitement et de calcul d'histogrammes 
recevant des donnSes numdriques ddfinissant ces images pour efliectuer, 
15 pour chacune d'eile, les operations suivantes : 

- segmentation de I'image (1, 2, 3, 4), 

- classification des segments en fonction de leur orientation pour 
donner des classes (5), 

- calcul d'un histogramme du nombre de segments en fonction de 

20 laclasse(6X 

- calcul d'un histogramme du nombre de pixels appartenant aux 
segments d'une meme classe en fonction de la classe (6), 

- comparaison des histogrammes de chaque image pour donner 
une mesure de similarity (7). 
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une mesure de similarity (7). Les applications concement le 
regroupement d'images, la construction de resumes vid^o ou 
I'indexation vidto. 
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